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О себе 


24 года в IT 
СТО и основатель Altinity 
Черный пояс в айкидо и ClickHouse 
Не брат Петра Зайцева :) 
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ЕЛА пу 


Enterprise СИсКНоизе support and services 
Altinity.Cloud DBaaS 
https://altinity.com 


Вы строите приложения, а мы готовим ClickHouse 
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О докладе 


Как скрестить ужа с ежом 
или 


как использовать обычную СУБД в облаках 
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Облачные обещания и надежды 


Облака — это стада (са е)! 


Стадо железных серверов 
Стадо виртуалок 
Стадо подов (если это Кубернетес) 
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СУБД – это котики (реї< 


.. котики с чемоданом данных 
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Как выполнить облачные обещания? 
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Масштабирование 
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Вертикальное 


-------- 


Network- 
Attached 
RAM Storage!!! 
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Требования вертикального 


масштабирования 
К Облаку К DBMS 
° Масштабирование ° Эффективно 
TOMOB использовать RAM/CPU 
° Монтирование ° Работать с несколькими 
нескольких томов томами 
° Быстрый сетевой диск ° Сносно работать с 
«медленным» сетевым 
диском 
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Горизонтальное 


Реплики 


Требования горизонтального 


масштабирования 

К Облаку К DBMS 

° Просто работать, ° Поддерживать 
идеально для «стада» шардирование/реплик 


ацию 
° Контроль состояния 
репликации 


° Решардинг 
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Репликация 
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Репликациа 
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Репликациа 


1. Добавляем реплику, но не «включаем» 
2. Ждем, пока догонится 
3. Включаем в запросы 
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Как зто сделатђ B ClickHouse 


Запросы 


Engine = Distributed 
тах replica деіау ог аіѕігіриїеа диегіеѕ=10 


Engine = Engine = 
КеріісаїеаМегвеТгее ReplicatedMergeTree 
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Шардирование 
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Решардинг 
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Шардирование и решардинг 


Добавлаем шард 

Создаем схему 

Включаем в запросы 
Переносим данные в фоне 


ru ДЕ чаа 


Вопрос: как гарантировать целостность результатов во 
время переноса? 
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Как зто сделатђ B ClickHouse? 


° Ждать пока само выровняется 
° Передвигать вручную 
° Поддержка к концу 2021 
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Где хранить данные в облаке? 


° Локальные диски: 
— не масштабируется 
— не надежны 

° Сетевые хранилища: 
— Object Storage (53) -- хорошая скорость, но очень мало IOPS 
— Стандартные NAS (EBS #р2, ерЗ) — средняя скорость и цена 
— NAS с гарантированными IOPS (EBS 102 etc.) – быстро, очень 

дорого 
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Разделение Storage и Compute 


Классический bare metal Cloud-native DBMS 
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Разделение Storage и Compute 


Классический bare metal Cloud-native DBMS 


“на самом деле" 
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ClickHouse — DiskS3 


EBS vs S3 MergeTree 'tripdata' 


Ш евз В $3 В 53 орітігеа 


• Параллельноеи 
multi-part чтение и 
запись 

• Кеш индекса и 
«засечек» 

° Дего-сору 
репликация в beta 

° INSERT-bI 
медленные 
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https://altinity.com/blog/clickhouse-and-s3-compatible-object-storage 
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Архитектура хранения B ClickHouse 


MergeTree 
tables select 
polices 


Tiered конфигурация: 


Policies define Policy 

flow of data (default) INSERTS 
across volumes 

Volumes group 

disks into sets 

for writes 


Фоновый перенос 


Disk entries Disk K s 
define mount (default) 

0/5 Level 

Devices 


ZI (н) Расе 


Отказоустойчивость 
и надежность 
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DBMS зто He веб-сервер 


SELECTs / INSERTs в е 
Плановый даунтайм – как 
| | | сделать аккуратно? 


Внеплановый даунтайм – как 
определить, что реплика «все»? 


Реплика 1 


Реплика 2 


ТА Нен оаа 


Плановый даунтайм 


SELECTs / INSERTs 1. Убираем из балансера 


| | | 2. Убираем из внутренней 
конфигурации 
3. Ждем, пока закончатся запросы 
4. Ждем, пока добежит репликация 
5. Выключаем 
Реплика 1 
Реплика 2 
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Внеплановый даунтаим 


SELECTs / INSERTs 1. Детектим 


| | | 2. Убираем из балансера 
3. Разбираемса, в чем дело 


Часто выздоравливает само 


Реплика 1 


Реплика 2 


См: Дмитрий Столяров. «Базы данных и Kubernetes> 
| HL++ 2018: https://www.youtube.com/watch?v=7CR5eH6a8Fo 
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Облачная география 


Регион US Регион EU | 
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Облачная география 
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Облачная география 
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Основная ценность — данные 


Dedicated 
Data VPC 


Object 
иту Дуа 


Репликация в разные AZ 
Snapshots 

Backup 

Прямые руки! 


| | 
Availability Availability Availability 
Zone A Zone B Zone C 
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Репликация между регионами 


Inserts Inserts 


Регион US Регион EU 


ТА HighLoach+ 
HL) а 


Q Удобство 
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Облако — зто набор инструментов 


а делать все придется самим 
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Или привлекать «рулевого» 


1111; 
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Облачный провайдер: 
° Поставляет «стадо» 
° Держит «хлевь» EKS 


Кибегпеез: 
° Абстрагирует взаимодействие с 
провайдером 
° Встроенные средства НА/ЕО 
° User-friendly объекты 
(а) па 


Operator = deployment + monitoring + operation 


Ж 


Healthchecks 
ClickHouselnstallation 


УАМЕ file 


га х 
User Config Мар Common Config Map 


Kubernetes API ClickHouse cluster resources 


https://github.com/Altinity/clickhouse-operator СОЕ 


Оператор «умеет» DB B Kubernetes 


Load Persistent 


| Persistent 
Balancer ! Volume 


Volume 


Service | Claim x 
: | | i Per-replica Config Мар 


Replica 
Service 


Zookeeper-1 


Replica 
Service 


Zookeeper-2 


Replica 
Service 


Zookeeper 
Services 


Replica 
Service 


User Config Map Common Config Map 


https://github.com/Altinity/clickhouse-operator (нї) него 


Облачные сервисы тоже нужны 


AWSNLB 
:8443 


:9 
ClickHouse 
Client Access кал 


| 


53 
ClickHouse ClickHouse ClickHouse ClickHouse 
Backups 
Dashboard 
Browser 
Açcess 
Zookeeper Zookeeper Zookeeper 
Prometheu ClickHouse т 
AWS NLB I Operator Certificate 
:443 Renewals 
EKS Control Plane 
DNS Е.Л ерау пру рур 
Lookups Autoscaling 
ZeroSSL 
AWS Route Огоир | | * 
53 DNS ZeroSSL ACME 
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Взаимодействие k8s и облака 


° Cluster AutoScaler 

° Storage controller 

° CoreDNS/ External DNS 
° Аннотации сервисов 

° Кастомные операторы 


kind: Service 
apiVersion: v1 
metadata: 


annotations: 
edge-proxy.altinity.com/port-mapping: '8443:tls-to-tls- 
insecure:8443,9440:tls-to-tls-insecure:9440'!' 
edge-proxy.altinity.com/tls-server-name: github.demo.altinity.cloud 
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(У) Безопасность 
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Облака открыты всем ветрам 


Application 


http://entradasoft.com/blogs/cloud-security-risks-and-threats-in-2020 
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Облака открыты всем ветрам 


Application 
Security 


VPC! 

Не открывать лишние порты 
|Р-маски на доступ 

TLS шифрование всего трафика 
Шифрование данных 
Тестирование на 
проникновение 

Логгирование и Мониторинг 
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Резюме 


° DBMS в облаках не работают «из 
коробки» 

° Облачные обещания справедливы 
только для cloud-native сервисов 

° DBMS приходится заворачивать в кучу 
доп. Софта 

° Kubernetes делает жизнь в облаках 


проще 
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Спасибо! 


Контакты: 


alz@altinity.com 


https://altinity.com 
https://altinity.cloud 
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